Robinson kết hôn và ly hôn với Marjorie Joseph cùng năm 1938. Hai người có con trai Ronnie Smith sinh năm 1939. Robinson gặp người vợ thứ hai Edna Mae Holly là một vũ công có tiếng từng biểu diễn tại Câu lạc bộ Cotton, được lưu diễn châu Âu cùng Duke Ellington và Cab Calloway. Theo Robinson, hai người gặp nhau tại một hồ bơi địa phương, nơi ông thường lui tới sau khi tập luyện quyền Anh. Trong nỗ lực thu hút sự chú ý của người đẹp, Robinson đã đẩy nàng xuống hồ bơi và vờ đó là tai nạn.[75] Nỗ lực này bị coi thường, Robinson đã xuất hiện tại hộp đêm nơi Edna nhảy và tự giới thiệu mình. Ngay sau đó, cặp đôi hẹn hò và kết hôn năm 1944.[76] Năm 1949, Edna sinh con trai Ray Robinson Jr. Năm 1951, Edna xuất hiện trên trang bìa tạp chí Jet.[77] Năm 1962, hai người chia tay trong gay gắt.[78]

Tháng 4 năm 1959, chị cả Marie của Robinson chết vì ung thư ở tuổi 41.[79]

Tháng 12 năm 1959, ca sĩ kiêm vũ công xinh đẹp Barbara Johnson (hay còn gọi là Barbara Trevigne) tại South Ozone Park nói Robinson là cha đứa con trai Paul sinh năm 1953 của mình và đưa ra tòa. Ngày 18 tháng 5 năm 1961, Jet dẫn tin tòa án ra phán quyết đứng về phía Robinson, trong đó trích dẫn Robinson nói khi thắng án "Công lý đã chiến thắng."[80]

Năm 1965, Robinson kết hôn với Millie Wiggins Bruce và cặp đôi định cư tại Los Angeles. Khi Robinson ốm vì nhiều chứng bệnh khác nhau, con trai ông cáo buộc Mille dùng thuốc để thao túng Robinson. Robinson Jr nói khi bà nội mình qua đời, cha mình không thể đến dự tang lễ vì Millie đã đánh thuốc và khống chế ông. Nhưng Robinson cũng phải nhập viện một ngày trước khi mẹ qua đời do cao huyết áp khi bị kích động. Robinson Jr và Edna Mae cho biết bị Millie cấm đến gần Robinson những năm cuối đời.[81]

Robinson tham gia Hội Tam Điểm, tư cách thành viên san sẻ với một số vận động viên khác, trong đó có võ sĩ quyền Anh Jack Dempsey.[82][83]